Felfedező adatelemzés

Az R Notebookról bővebben

Töltsünk be egy pár csomagot!

Miről szól a felfedező adatelemzés?

Az a cél, hogy elkezdjük érteni az adatokat.

Kreatív folyamat, hagyatkozzunk a megérzéseinkre (is),

1. Találj ki kérdéseket az adatokkal kapcsolatban!
2. Próbáld megválaszolni őket ábrázolások, transzformációk, és modellek által!
3. Ezek fényében finomítsd a kérdéseket, és tegyél fel újakat!

Érdemes jó sok kérdéssel indítani, aztán majd elválik, hogy melyikkel mennyit érdemes foglalkozni

Nincsenek szigorúan értelmezett szabályok, két kérdés viszont általában érdekes:

• milyen a változók variabilitása?
• milyen a változók közös varianciája?

Változók variabilitásának vizsgálata

Eloszlások megjelenítése

Kategorikus változók: oszlopdiagram

Oszlopok magassága x lehetséges értékeinek darabszámát mutatja

Folytonos változók eloszlását pedig megnézhetjük mondjuk egy hisztogramon

A megjelenített értékek kiszámolása

geom_histogram binwidth argumentuma mondja meg, hogy az x változót mekkora intervallumokra szabdaljuk fel az ábrázoláshoz - érdemes kipróbálni több értéket! Pl. csak a három karátnál kisebb gyémántok, keskenyebb binekkel:

Ugyanez szétdobva csiszolás szerint fazettákra

Ha több kategória eloszlását egy ábrán akarjuk mutatni, rajzoljunk inkább vonalakat!

Mire érdemes figyelni?

• Mik a leggyakoribb értékek? Miért?
• Mik a legritkább értékek? Miért? Erre számítottunk?
• Szokatlan, különös mintázatok? Mi lehet az oka?

Mi az érdekes ezen az ábrán?

És ezen?

Klaszterekbe tömörülő hasonló értékek alcsoportokra utalhatnak.

• Milyen szempontból hasonlóak egymáshoz az egy csoportba tartozó megfigyelések?
• Milyen szempontból különböznek egymástól a külön csoportokba tartozó megfigyelések?
• Hogyan lehetne jellemezni a klasztereket?
• Miért lehet félrevezető a klaszterek jelenléte?

Szokatlan értékek (outlier)

Több oka is lehet!

• adatrögzítési hiba
• ritkán előforduló eset, amit informatív lehet

Hol van itt az outlier? Közelítsünk rá az ábrára!

Nézzük meg jobban ezeket a megfigyeléseket!

Gondoljuk végig alaposan: mi okozhatta ezeket az anomáliákat?

Gyakorlás - eloszlások ábrázolása

Vizsgáld meg a price változó eloszlását! Észreveszel-e valami furát?

Hiányzó értékek

Mit tegyünk ezekkel a furcsa gyémántokkal?

• eldobhatjuk őket - miért nem szerencsés?

• a furcsa értékeiket átírjuk hiányzóra

## Warning: Removed 9 rows containing missing values (geom_point).

ggplot2 figyelmeztet az NA-kra

De az is lehet, hogy pont a hiányzó értékeket tartalmazó megfigyelések érdekesek Pl. mikor kellett volna indulniuk a törölt járatoknak?

Miért nem túl informatív ez az ábra?

Változók közös varianciája

Kategorikus vs. folytonos

A gyakoriságokban nagy eltérések vannak, ezért nem látszik jól, hogy különbözik-e a különböző csiszolású gyémántok eloszlása

Ilyenkor darabszám helyett érdemes a sűrűséget mutatni:

Vagy használhatunk boxplotot is

A rosszabb minőségű gyémántok drágábbak lennének?

A csiszolás szempontjából egyértelműen rangsorolhatóak a gyémántok. De nem minden kategorikus változó ordinális. Vegyük például a különböző típusú autók fogyasztását.

Az ábra áttekinthetőbb lehet, ha a fogyasztás mediánja szerint sorbarendezzük a kategóriákat

Ha hosszúak a változónevek, forgassunk egyet az ábrán:

Gyakorlás - kovariancia ábrázolása 1.

Hogyan javíthatnánk akkor ezen az ábrán az eddigiek fényében?

Kategorikus vs. kategorikus

Az ábrához tartozó gyakorisági tábla

Amit megmutathatunk egy szép hőtérképen is

Gyakorlás - kovariancia ábrázolása 2.

A dplyr és a geom_tile() felhasználásával nézzük meg, hogyan alakul az átlagos késés célállomásonként, havi bontásban. Miért lehet nehézkes ez az ábra? Mit lehetne kezdeni vele?

Folytonos vs. folytonos

Hátha többet látunk, ha áttetszővé tesszük a pontokat

Nagy adathalmazokon nem mindig segít az áttetszőség szabályzása Ilyenkor binekre is oszthatjuk az adatokat

Készíthetünk boxplotot is, ha csak az egyik folytonos változót szeleteljük:

Ebből nem derül ki, hogy melyik dobozban hány gyémánt van, nézzük meg!

Vagy daraboljunk körülbelül egyforma elemszámú bin-ekre!

Gyakorlás - kovariancia ábrázolása 3.

Ábrázoljuk az eddigiek segítségével a csiszolás, a karát, és az ár kombinált eloszlását!

Összetett felfedező elemzések gyorsan

GGally

Változók eloszlása és kapcsolata egy nagy ábrán, egyetlen sor kóddal

Érdemes tudni a base graphics pairs() függvényéről is: kevésbé látványos, viszont jóval gyorsabb

Egyéb pontfelhő-mátrix lehetőségek

Hasznos lehet még a ggcoef() egy modell együtthatóinak gyors áttekintéséhez

Nézzünk egy példát!

Mivel függ össze a fogyasztás?

Illesszünk többszörös lineáris regresziós modellt, és nézzük meg az eredményeket!

## 
## Call:
## lm(formula = mpg ~ ., data = .)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.64562 -0.27212 -0.02854  0.17607  0.97245 
## 
## Coefficients:
##               Estimate Std. Error t value Pr(>|t|)   
## (Intercept)  3.568e-17  7.740e-02   0.000  1.00000   
## disp        -1.927e-02  2.128e-01  -0.091  0.92851   
## hp          -3.544e-01  1.301e-01  -2.724  0.01097 * 
## wt          -6.171e-01  1.731e-01  -3.565  0.00133 **
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.4379 on 28 degrees of freedom
## Multiple R-squared:  0.8268, Adjusted R-squared:  0.8083 
## F-statistic: 44.57 on 3 and 28 DF,  p-value: 8.65e-11

##                  2.5 %      97.5 %
## (Intercept) -0.1585520  0.15855201
## disp        -0.4552375  0.41670004
## hp          -0.6209244 -0.08795267
## wt          -0.9716283 -0.26249869

Mindezt ábrázolhatjuk is

corrplot

Korrelációs mátrixok ábrázolása

Akkor igazán hasznos a corrplot, ha sok változó korrelációját szeretnénk egyben áttekinteni.

Például nézzük meg egy 25 kérdésből álló Big Five személyiségteszt tételeinek korrelációit!

További beállítási lehetőségek a corrplot-ban

Több panelből álló ábrák

gridArrange csomag

Ábrák elrendezésének finomhangolása a layout_matrix argumentummal

További lehetőségek több panelből álló ábrák szerkesztésére

Interaktív ábrák a plotly-vel

Bevezetés a plotly használatába

Nézzünk meg elsőnek egy vulkánt!

## No trace type specified:
##   Based on info supplied, a 'heatmap' trace seems appropriate.
##   Read more about this trace type -> https://plot.ly/r/reference/#heatmap

Texas-i ingatlanpiaci adatok

Két út a plotly objektumok létrehozására:

1. ggplotly(): egy ggplot objektum átalákítása
2. plot_ly(): közvetlenül az adatok megadása

ggplotly(): egy ggplot objektum átalákítása

Készítsünk egy ggplot2 ábrát, ahol az idő függvényében mutatjuk a városonkénti medián eladási árat!

## Warning: Removed 446 rows containing missing values (geom_path).

A tooltip alapból minden információt mutat, amit az esztétikai kapcsolásnál (aes) megadtunk

Felül is írhatjuk, hogy mit kapjon meg a tooltip

plot_ly(): közvetlenül az adatok megadása

Adatok manipulálásra a dplyr és a tidyr függvényeit használhatjuk Pl. a csoportosított adatokat “érti” a plotly (csoportosítás minden egyes szintjére lesz legalább egy grafikai elem)

Létrehozunk egy plotly objektumot

plotly_data() visszaadja egy plotly objektumhoz tartozó adatokat

A plotly csomagban van egy rakás add_*() függvény

Ezek öröklik a plot_ly() híváskor meghatározott attribútumokat (pl. melyik tengelyen mi legyen)

És öröklik a plotly objektumhoz tartozó adatokat, amit felülírhatunk a data argumentumnál

Gondolhatunk úgy is ezekre a függvényekre mint a ggplot2 rétegeinek egy változatára